In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ\times0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g., geopotential, specific humidity, wind speed, temperature, etc.) and in all time ranges (from one hour to one week). There are two key strategies to improve the prediction accuracy: (i) designing a 3D Earth Specific Transformer (3DEST) architecture that formulates the height (pressure level) information into cubic data, and (ii) applying a hierarchical temporal aggregation algorithm to alleviate cumulative forecast errors. In deterministic forecast, Pangu-Weather shows great advantages for short to medium-range forecast (i.e., forecast time ranges from one hour to one week). Pangu-Weather supports a wide range of downstream forecast scenarios, including extreme weather forecast (e.g., tropical cyclone tracking) and large-member ensemble forecast in real-time. Pangu-Weather not only ends the debate on whether AI-based methods can surpass conventional NWP methods, but also reveals novel directions for improving deep learning weather forecast systems.

Recently, Transformer-based image restoration networks have achieved promising improvements over convolutional neural networks due to parameter-independent global interactions. To lower computational cost, existing works generally limit self-attention computation within non-overlapping windows. However, each group of tokens are always from a dense area of the image. This is considered as a dense attention strategy since the interactions of tokens are restrained in dense regions. Obviously, this strategy could result in restricted receptive fields. To address this issue, we propose Attention Retractable Transformer (ART) for image restoration, which presents both dense and sparse attention modules in the network. The sparse attention module allows tokens from sparse areas to interact and thus provides a wider receptive field. Furthermore, the alternating application of dense and sparse attention modules greatly enhances representation ability of Transformer while providing retractable attention on the input image.We conduct extensive experiments on image super-resolution, denoising, and JPEG compression artifact reduction tasks. Experimental results validate that our proposed ART outperforms state-of-the-art methods on various benchmark datasets both quantitatively and visually. We also provide code and models at the website https://github.com/gladzhang/ART.

建立一个对话体现的代理执行现实生活任务一直是一个长期而又具有挑战性的研究目标，因为它需要有效的人类代理沟通，多模式理解，远程顺序决策等。传统的符号方法具有扩展和概括问题，而端到端的深度学习模型则遭受数据稀缺和高任务复杂性的影响，并且通常很难解释。为了从两全其美的世界中受益，我们提出了一个神经符号常识性推理（JARVIS）框架，用于模块化，可推广和可解释的对话体现的药物。首先，它通过提示大型语言模型（LLM）来获得符号表示，以了解语言理解和次目标计划，并通过从视觉观察中构建语义图。然后，基于任务和动作级别的常识，次目标计划和行动生成的符号模块。在Teach数据集上进行的大量实验验证了我们的JARVIS框架的功效和效率，该框架在所有三个基于对话框的具体任务上实现了最新的（SOTA）结果，包括对话记录（EDH）的执行，对话框的轨迹， （TFD）和两个代理任务完成（TATC）（例如，我们的方法将EDH看不见的成功率从6.1 \％\％提高到15.8 \％）。此外，我们系统地分析了影响任务绩效的基本因素，并在几个射击设置中证明了我们方法的优越性。我们的Jarvis模型在Alexa奖Simbot公共基准挑战赛中排名第一。

预测道路代理的未来行为是自动驾驶的关键任务。尽管现有模型在预测边际代理的未来行为方面取得了巨大的成功，但有效预测多种代理的一致的关节行为仍然是一个挑战。最近，提出了占用场的占用场表示，以通过占用网格和流量的结合来代表公路代理的联合未来状态，从而支持有效且一致的关节预测。在这项工作中，我们提出了一个新颖的占用流场预测因子，以产生准确的占用和流动预测，通过结合图像编码器的功能，该图像编码器从栅格化的流量图像中学习特征和矢量编码器，以捕获连续代理轨迹和地图状态的信息。在生成最终预测之前，这两个编码的功能由多个注意模块融合。我们的简单但有效的模型排在Waymo Open数据集占用和流预测挑战中，并在封闭的占用和流动预测任务中取得了最佳性能。

本文介绍了我们针对CVPR2022通用事件边界字幕（GEBC）竞赛的冠军解决方案。 GEBC要求字幕模型对给定视频边界周围的瞬时状态变化具有理解，这使其比传统的视频字幕任务更具挑战性。在本文中，提出了对视频内容编码和字幕生成的改进的双流变压器：（1）我们利用三个预训练的模型从不同的粒度中提取视频功能。此外，我们利用边界的类型作为提示，以帮助模型生成字幕。 （2）我们特别设计一个称为双流变压器的模型，以学习边界字幕的区分表示。 （3）为了生成与内容相关和类似人类的标题，我们通过设计单词级合奏策略来提高描述质量。 GEBC测试拆分的有希望的结果证明了我们提出的模型的功效。

深度学习已被广泛应用于频划分双工（FDD）中的通道状态信息（CSI）反馈，大量多输入多输出（MIMO）系统。对于反馈模型的典型监督培训，几乎无法满足大量特定于任务标记的数据的要求，并且在多种情况下，模型的巨大培训成本和存储使用是用于模型应用的障碍。在这封信中，提出了一种基于多任务学习的方法，以提高反馈网络的可行性。进一步提出了编码者共享的反馈体系结构和相应的培训计划，以促进实施多任务学习方法。实验结果表明，提出的多任务学习方法可以实现全面的反馈绩效，而反馈模型的培训成本和存储使用情况大大降低。

视觉语言预训练（VLP）模型在各种下游任务上表现出色。他们的成功在很大程度上取决于预训练的跨模式数据集的规模。但是，中文中缺乏大规模数据集和基准阻碍了中国VLP模型和更广泛的多语言应用程序的发展。在这项工作中，我们发布了一个名为Wukong的大型中国跨模式数据集，其中包含从网络收集的1亿个中文图像文本对。 Wukong旨在基准基准不同的多模式预训练方法，以促进VLP研究和社区发展。此外，我们发布了一组模型，预先训练了各种图像编码器（vit-b/vit-l/swint），还将高级预训练技术应用于VLP，例如锁定图像文本调整，相对于代币的相似性学习和减少互动。还提供了广泛的实验和不同下游任务的基准测试，包括新的最大人验证的图像文本测试数据集。实验表明，Wukong可以作为不同的跨模式学习方法的有前途的中国预培训数据集和基准。对于10个数据集上的零摄像图像分类任务，$ Wukong_ {vit-l} $达到的平均准确度为73.03％。对于图像文本检索任务，它在AIC-ICC上的平均召回率为71.6％，比Wenlan 2.0高12.9％。此外，我们的Wukong模型在下游任务上进行了基准测试，例如多个数据集上的其他变体，例如Flickr8k-CN，Flickr-30K-CN，Coco-CN，Coco-CN等。更多信息可以参考：https：//wukong-dataset.github.io/wukong-dataset/。

虽然现代自动语音识别（ASR）系统可以实现高性能，但它们可能会产生削弱读者体验并对下游任务造成伤害的错误。为了提高ASR假设的准确性和可靠性，我们提出了一种用于语音识别器的跨模型后处理系统，其中1）熔断来自不同方式的声学特征和文本特征，2）接合置信度估计器和多个误差校正器任务学习时尚和3）统一纠错和话语抑制模块。与单模或单任务模型相比，我们提出的系统被证明更有效和高效。实验结果表明，我们的后处理系统导致对工业ASR系统的单扬声器和多扬声器语音相对降低的10％相对减少，每个令牌约为1.7ms延迟确保在流语音识别中可以接受后处理引入的额外延迟。

实现通用语言情报是自然语言处理的长期目标，标准评估基准发挥基本和指导作用。我们认为，对于通用语言智能评估，基准本身需要全面和系统。为此，我们提出了Cuge，一种中文语言理解和生成评估基准，具有以下特征：（1）分层基准框架，其中数据集主要选择和组织语言能力 - 任务数据集层次结构。 （2）多级评分策略，其中基于分层框架提供了不同级别的模型性能。为了促进CUGE，我们提供了一个公共排行榜，可以自定义，以支持灵活的模型判断标准。代表性预先训练的语言模型的评估结果表明了对通用语言智能的完善的充足空间。 Cuge在Cuge.baai.ac.cn上公开提供。

域泛化（DG）是一个难度的学习问题，旨在学习一个概念域的概念模型。最近的巨型预训练模型，如剪辑和GPT-3，即基础模型（FMS），已被证明对许多分布换档具有强大，因此应导致DG的大量改进。在这项工作中，我们研究了在图像分类中采用DG问题采用剪辑的通用方法，在那里我们评估了天真零射击学习和全DG学习设置。对于后者，我们提出了AP（摊销提示），作为迅速生成形式的域推断的新方法。在域泛化基准上使用多个标准数据集，即PACS，VLC，OfficeHome和Terraincognita，Clip提供了可比的性能而无需微调任何参数，这表明FM在DG中的适用性和重要性。此外，我们表明，组合域提示跟踪带剪辑使AP能够以大的余量越大，从71.3 \％升高到79.3 \％的精度。我们希望我们的方法的简单性和成功强调强调的重要性并导致更广泛采用和分析域泛化领域的基础模型。